题图｜Kristina Armitage/Quanta Magazine
研究人员发现了人类和机器学习模型获得语言技能的方式有惊人相似之处
又是AGI纪元前夜的一天，像往常一样一早5点准时醒来，一打开手机，时间线就被数篇论文与OpenAI的ASI治理宣言刷屏......
WHAT? Artificial！Super！Intelligence！超级人工智能！！！？？？
大洋彼岸的我等还在大模型的炼丹炉里摸索呢，盼能不能出个中文LLM奇迹？你...你...你们都要讨论超级人工智能啦，并且都谈到了治理份上了（governance）？
什么是超级人工智能（ASI）？和通用人工智能（AGI）有什么关系和不一样？超级人工智能（ASI，Artificial Superintelligence）是指在所有重要方面超越人类智能的人工智能系统，包括创造力、问题解决和决策能力。ASI不仅在特定领域胜过人类，而且在广泛的领域和任务中都具有高超的能力。简而言之，ASI是一种比最聪明的人类还要聪明的人工智能。
通用人工智能（AGI，Artificial General Intelligence）也被称为强人工智能，是指能够理解、学习和应用知识的人工智能系统，从而在各种各样的任务中表现出与人类智能相当的能力。与专用人工智能不同，通用人工智能不仅仅局限于某一特定领域，而是具有广泛的认知能力。
ASI和AGI之间的关系可以看作是一个能力层次上的差别。AGI是一种达到了人类智能水平的AI，而ASI则是超越了人类智能的AI。换句话说，ASI可以看作是AGI的一个高级阶段。
总结一下，ASI和AGI都是强大的人工智能类型，但ASI在能力上超越了人类智能，而AGI则与人类智能相当。AGI具有广泛的认知能力，而ASI在所有重要方面都超越了人类智能。
果然这篇OpenAI放出的治理宣言中套路满满，连Elon也觉得五味杂陈，忙给指出文中的“horse shit”的“推友”表示正中靶心🎯（也不知道是谁的🎯？）：
OpenAI在宣言结论前放了一段：What‘s not in scope？假惺惺的表示“我们觉得我们这里讨论的ASI不包括那些玩小模型的（models below a significant capability threshold) ” 。
所以以下这一段脑补文字，完全是连我隔着屏幕都觉得会炸裂的感受所自然涌现（如有冒犯实属system1失控）：这真是赤裸裸的“挾天子以令诸侯”啊，肯定是那个野心勃勃的Sam Altman的鬼主意！虽然我敬仰的Ilya大神也署名为第3作者，这可谓是“司马昭之心，路人皆知“啊...AGI军备竞赛三国之战大幕已然拉开（Google vs OpenAI+Microsoft；Meta另辟蹊径）。难怪早些年退出的Elon在旁边一边囤GPU（注：上个月Elon Musk的X公司购买了1万张最新英伟达GPU），一边明显也坐不住了。Sam Altman: “是哦，有ChatGPT在先，ChatGPT已经和当年的“google一下”有用户习惯护城河了，咋地，现在又有了GPT-4，用来解释GPT-2不在话下，那肯定也会用来训练GPT-5啦！ 想玩ASI，你的Optimus（*Tesla最新可以上街学习的人型机器人）慢慢爬吧，hahaha...“各位自品其中滋味吧，昨夜Elon估计会失眠了吧......
笔者研究GPT现象以来，深深感受到GPT智能体带来的变革前所未见，也许这也是百年一遇之大变局的其中一面吧。而且OpenAI LP早已不仅仅是那几百个最精英的机器学习工程科学家独自在战斗，而是有地表最强GPT-4预训练智能体一起在通往AGI的道路上狂奔：用AI“对齐”AI，用AI解释AI，更是会用AI训练AI；这篇AGI治理宣言，应该是Sam/Greg/Ilya早已看到了AGI的曙光，已经和GPT-5预训练体聊过天也说不定吧。OpenAI治理宣言这边且按住不表；让我们看看这两天放出的其它几篇论文。▩ Huggingface放出通过可组合扩散模型实现任意模态生成 (Any to Any Generation via Composable Diffusion)(arxiv:2305.11846)目前的可组合扩散（CoDi），一种新颖的生成模型，能够从输入模态的任意组合生成输出模态的任意组合，例如语言，图像，视频或音频。与现有的生成式人工智能系统不同，CoDi可以并行生成多种模态，其输入不限于文本或图像等模态的子集。尽管缺乏许多模态组合的训练数据集，但我们建议在输入和输出空间中对齐模态。这允许 CoDi 自由地对任何输入组合进行条件调整并生成任何一组模态，即使它们不存在于训练数据中。CoDi采用一种新颖的可组合生成策略，该策略涉及通过在扩散过程中桥接对齐来构建共享的多模态空间，从而能够同步生成相互交织的模态，例如时间对齐的视频和音频。CoDi 具有高度可定制性和灵活性，可实现强大的联合模态生成质量，并且优于或与单模态合成的单峰最先进的技术相媲美。包含演示和代码的项目页面位于 https://codi-gen.github.io。
“CoDi(Composable Diffusion)，能够从输入模态的任意组合生成输出模态的任意组合”▩ Meta放出MMS（Massively Multilingual Speech）超规模多语言语音生成模型继SAM（Segment Anything Module)统治语义分割之后，Meta又搞出来一个大新闻，发布了MMS（Massively Multilingual Speech），支持1100+语言的speech-to-text和text-to-speech。不光支持的语言多，准确性也厉害，超过了OpenAI的whisper。Meta找到的突破口是被广泛翻译的圣经等宗教文本。MMS模型可以在github下载：https://github.com/facebookresearch/fairseq/tree/main/examples/mms
“MMS(Massively Multilingual Speech)，支持1100+语言的speech-to-text和text-to-speech”“几千年前，《圣经旧约》记载，上帝为了阻止人类的巴别塔计划，上帝让人类说不同的语言，使人类相互之间不能沟通，计划因此失败，人类自此各散东西。几千年后，人类运用《圣经新约》的文本和语音资料，做出了能让1000多种语言互通的 AI 模型。再过几千年，也许会成为一个从旧神到新神的历史传说。”
巴别塔（Babel Tower）是根据《圣经·创世记》中的故事而得名的建筑物。根据这个故事，人类在巴别塔工程中试图建造一座高耸入云的塔楼，以达到接近上帝的高度。然而，上帝看到人们的企图后，混乱了他们的语言，使得他们无法相互理解，从而导致了人类的分散和语言的多样性。因此，巴别塔通常被用来指代人类的自负和傲慢，以及由此引发的语言隔阂和沟通困难。它也可以象征着人类团结与合作的失败，并提醒我们重要的价值，例如相互理解、尊重和协作。巴别塔在文化和文学作品中经常被引用，以表达人类的自大和沟通难题。
以上这两篇论文，Huggingface的CoDi，加上Meta的MMS，相当于扫清了OpenAI的超级人工智能体对于物理世界（world of atoms）认知的一切感官和语言障碍：
对此，笔者无比悲观，人类赋予机器感官智能，又基于ANN教会其学习理解生成人类语言，一步一步创造了硅基智能，现在机器智能“巴别塔计划”也已彻底扫清语言障碍；面对超级机器智能，人类作为生物智能群体即将失去护城河，并且眼见连上帝的护城河也没了，OpenAI的ASI超级智能体将会成为world of bits的digital native god，而Sam Altman则是那个digital god背后的人。（这才是Altman不持有OpenAI LP一毛股权，而拥有OpenAI Inc对LP cap之上控制权的本质。）就语言本身来说，无论是人脑BNN还是人工神经网络（ANN），学习过程都非常神秘。目前OpenAI已经在用更高参数量级的GPT预训练体如GPT-4去解释GPT-2的神经元是如何工作的，相信随着更高参数量级的GPT发布，我们可能也可以反向逐步解释人脑神经元的工作机制。笔者在思考这两天的arxiv论文现象的时候，正好看到下面这篇文章，提到关于人工神经网络（ANN）的学习方式是否与人脑相同的问题。摘译附录如下，供AI范儿读者参考。附录：有一些神经网络（ANNs）像人类一样学习语言
大脑是如何学习的？这是一个谜，既适用于我们颅内的海绵状器官，也适用于我们机器中的数字对应物。尽管人工神经网络（ANN）是由人工神经元的复杂网络构建的，表面上模仿我们的大脑处理信息的方式，但我们不知道它们是否以类似的方式处理输入。（笔者注：最近OpenAI放出技术报告已经可以用GPT-4来部分解释GPT-2神经元如何工作）“关于神经网络的学习方式是否与人脑相同，一直存在争议”，俄勒冈大学语言学家Vsevolod Kapatsinski说。如今，上个月发表的一项研究表明，自然和人工网络的学习方式相似，至少在语言方面是这样。由加州大学伯克利分校计算语言学家Gašper Beguš带领的研究人员将人脑在听简单声音的脑电波与分析相同声音的神经网络产生的信号进行了比较。结果出奇地相似。“据我们所知，“Beguš和他的同事写道，观察到的对相同刺激的反应“是迄今为止报道的最相似的大脑和ANN信号。最重要的是，研究人员测试了由适用于各种任务的通用神经元组成的网络。“他们表明，即使是非常非常通用的网络，对语音或任何其他声音没有任何进化的偏见，仍然显示出与人类神经编码的对应关系，” 威斯康星大学麦迪逊分校的心理学家加里·卢皮扬（Gary Lupyan）说。这些结果不仅有助于揭开人工神经网络学习的神秘面纱，而且还表明人类大脑可能还没有配备专门为语言设计的硬件和软件。为了建立比较中人类方面的基线，研究人员在两个八分钟的块中反复播放一个音节 - “bah” - 为14名讲英语的人和15名讲西班牙语的人。在播放过程中，研究人员记录了每个听众脑干中神经元平均电活动的波动 - 大脑中首先处理声音的部分。此外，研究人员将相同的“bah”声音输入到两组不同的神经网络中 - 一组训练英语声音，另一组训练西班牙语。然后，研究人员记录了神经网络的处理活动，重点关注网络层中首先分析声音的人工神经元（以反映脑干读数）。正是这些信号与人类的脑电波非常匹配（如下图）。
“Merrill Sherman/Quanta Magazine“研究人员选择了一种称为生成对抗网络（GAN）的神经网络架构，最初发明于2014年用于生成图像。GAN由两个神经网络组成 - 一个鉴别器和一个生成器 - 相互竞争。生成器创建一个样本，该样本可以是图像或声音。鉴别器确定它与训练样本的接近程度并提供反馈，导致生成器再次尝试，依此类推，直到 GAN 可以提供所需的输出。在这项研究中，鉴别器最初是在英语或西班牙语声音的集合上进行训练的。然后，从未听到这些声音的生成器必须找到产生这些声音的方法。它从发出随机声音开始，但在与鉴别器进行了大约 40，000 轮交互后，生成器变得更好，最终产生了正确的声音。由于这种训练，鉴别器也更好地区分了真实和生成的。正是在这一点上，在鉴别器完全训练之后，研究人员播放了“bah”的声音。研究小组测量了鉴别器人工神经元平均活动水平的波动，这些神经元产生的信号与人脑电波非常相似。人类和机器活动水平之间的这种相似性表明，这两个系统正在从事类似的活动。“正如研究表明，来自护理人员的反馈塑造了婴儿的声音产生，来自鉴别器网络的反馈塑造了生成器网络的声音产生，”Kapatsinski说，他没有参加这项研究。该实验还揭示了人类和机器之间另一个有趣的相似之处。脑电波显示，讲英语和西班牙语的参与者听到的“bah”声音不同（讲西班牙语的人听到的更多的是“pah”），GAN的信号还表明，英语训练的网络处理声音的方式与西班牙语训练的网络有些不同。“这些差异朝着同一个方向发展，”Beguš解释说。说英语的人的脑干对“bah”声音的反应比讲西班牙语的人的脑干略早，用英语训练的GAN对相同声音的反应比西班牙语训练的模型略早。在人类和机器中，时间的差异几乎相同，大约是千分之一秒。Beguš说，这提供了额外的证据，证明人类和人工网络“可能以类似的方式处理事物”。
“Gašper Beguš的帮助下显示，英语和西班牙语的大脑如何处理声音的差异，在用英语和西班牙语训练的神经网络中得以维持“虽然目前还不清楚大脑如何处理和学习语言，但语言学家诺姆·乔姆斯基（Noam Chomsky）在1950年代提出，人类天生具有理解语言的天生独特能力。乔姆斯基认为，这种能力实际上是与人脑硬相连的。这项新工作使用了不是为语言设计的通用神经元，表明并非如此。“这篇论文绝对提供了证据，反对语音需要特殊的内置机制和其他独特功能的观点，”Kapatsinski说。贝古什承认，这场辩论尚未解决。与此同时，他正在进一步探索人脑和神经网络之间的相似之处，例如，测试来自大脑皮层（在脑干完成其部分后进行听觉处理）的脑电波是否与GAN深层产生的信号相对应。最终，Beguš和他的团队希望开发一种可靠的语言习得模型，描述机器和人类如何学习语言，从而实现人类受试者无法进行的实验。“例如，我们可以创造一个不利的环境（就像那些被忽视的婴儿一样），看看这是否会导致类似于语言障碍的东西，”华盛顿大学的神经科学家克里斯蒂娜·赵（Christina Zhao）说，她与Beguš和约翰霍普金斯大学的博士生Alan Zhou共同撰写了这篇新论文。“我们现在正试图看看我们能走多远，用通用神经元可以达到多接近人类语言，”Beguš说。“我们能否通过我们拥有的计算架构达到人类的性能水平 - 只是通过使我们的系统更大，更强大 - 还是永远不可能？”他说，虽然在我们确定之前还需要做更多的工作，但“即使在这个相对早期的阶段，我们也对这些系统的内部运作——人类和人工神经网络——的相似程度感到惊讶。- QuantaMagazine：Some Neural Networks Learn Language Like Humans
（https://www.quantamagazine.org/some-neural-networks-learn-language-like-humans-20230522/）
👇关注、标星哦～
那些prompt了我的，
是否也prompt了你...